艺术工作者们,可以训练Stable Diffusion绘制自己风格的作品了!
自Stable Diffusion开源以来,在其基础上进行二次开发产生了大量有趣的应用。我们都知道Stable Diffusion在绘制指定艺术家风格的作品方面非常出色,尤其对很多知名的艺术家。但对普通艺术家来说,如果能让Stable Diffusion按照自己的绘画风格绘制作品,从而更快速的提高自己的工作效率那该多好。
近日一个开发者团队就公布了一个程序,用户可以使用自己提供的图像,训练Stable Diffusion,形成包含你的个性化数据的模型,随后就可以使用训练后的模型生成带有你自己风格的图像。
整个过程如下图:
输入数据——训练模型——使用模型——绘制作品。下面是另外两个训练的例子。
第一步、输入带有你自己风格的原始图片
第二步、训练完成后用Stable Diffusion绘制的带有你自己风格的图像。
另一个案例中输入的原始图片
第二个案例训练完成后用这个新的风格绘制的巴黎街景。
这是一个非常有价值的应用方向,想到国内画家的作品在AI训练中的数据量很小,表现比较差,因此我决定用徐悲鸿的马训练一个模型。
首先找了9张徐悲鸿绘制的国画马,然后加入模型使用默认设置进行训练。
在训练模型时,有两个选项,object 使你可以教给模型一个要使用的新对象,style 可以让你教给模型一个可以使用的新样式。
一个是训练模型学习你提供的物体,另一个选型是训练模型学习你提供的风格。以徐悲鸿的马为例,你可以选择训练模型学习徐悲鸿画的马是什么样子的,后续你可以用这个模型画各种各样的马。另一个选项是可以训练模型学习徐悲鸿画马时的风格是什么样的,后续你可以用这个模型画牛、羊、虎、豹。
模型训练的整个过程需要 1-4 小时,我提供了九张图片,实际训练耗时2小时。
首先看一下训练object的结果,训练完成后,让AI绘制几幅包含马的题材,结果如下。
怎么样,有没有大师的气魄。
看一下训练style的结果,训练完成后,让AI绘制几幅其他动物的题材,结果如下。
注意上面这些作品的笔触
再请大师画幅山水画
上面最后这匹马是我最喜欢的
画一个完整的客厅挂画
需要指出的是,上面我用来训练的图是纯黑白色调的,而且都是马,题材狭窄、内容单一,所以对AI来说相当于数据很少,因此最终利用这些数据可绘制的题材范围也受限了。接下来我用一个非常喜欢的推主的作品,再训练一遍AI,看看这次的效果如何,这个推主的作品都有着非常复杂的分形细节和华丽的色彩,看看训练后的模型能否绘制出类似的作品。
上面是输入的原始训练素材,下面是用训练完的模型绘制